Momentum LMS: estabilidad, seguimiento y arrepentimiento en streaming
Conoce cómo el algoritmo MLMS garantiza estabilidad y bajo arrepentimiento en datos no estacionarios, perfecto para streaming.
#análisis teórico
Análisis de campo medio de auto-atención multicabezal bajo entropía cruzada
Explora un nuevo marco teórico de campo medio para la auto-atención multicabezal, estableciendo condiciones de convergencia y estabilidad bajo entrenamiento con entropía cruzada.
Optimizador Muon: Límite de Convergencia y Tamaño de Lote Crítico
El optimizador Muon promete superar a AdamW. Analizamos su convergencia teórica y el tamaño de lote crítico. Experimentos en visión y lenguaje.
Análisis teórico de Engression y Reverse Markov Engression
Descubre los nuevos límites de convergencia no asintóticos para Engression y Reverse Markov Engression. Resultados casi óptimos para aprendizaje de distribuciones condicionales con redes profundas.
Teoría exacta de algoritmos de error feedback en optimización distribuida
Aprende cómo los algoritmos de error feedback logran convergencia óptima en optimización distribuida con compresión de gradientes. Análisis para EF y EF21.